Jina Reader API

https://scrapbox.io/files/6633abc416f69000235fc384.png

Reader APIは、与えられたURLから主要なコンテンツを抽出し、大規模な言語モデル用にクリーンで消化しやすい形式に変換するために設計されたツール。

urlにprefixで、https://r.jina.ai/をつけるだけでOK

裏側でcloud functionsが動いている

無料で使うことができる

2024.5/31にPDFもサポートした

Reader APIを使用することで、開発者や研究者は、AIエージェントやRAGシステムの入力データの質を向上させることができ、より良い出力とパフォーマンスにつながる

背景

ウェブ情報をLLMにフィードすることは、Groundingの重要なステップであるが、難しい。

最も単純な方法は、ウェブページをスクレイピングし、生のHTMLをフィードすることである。

しかし、スクレイピングは複雑で、しばしばブロックされ、生のHTMLはマークアップやスクリプトのような余計な要素で乱雑になる。

Reader API は、URL から核となるコンテンツを抽出し、クリーンで LLM に適したテキストに変換することで、これらの問題に対処する。

画像読み込みについて

ウェブページ上の画像は、リーダー内の視覚言語モデルを使用して自動的にキャプションが付けられ、出力では画像のaltタグとしてフォーマットされる。

これにより、下流のLLMは、推論と要約のプロセスにこれらの画像を組み込むのに十分なヒントを与える。

つまり、画像について質問したり、特定の画像を選択したり、より詳細な分析のためにそのURLをより強力なVLMに転送することもできる！